es基本概念篇

#🗒

前言

先來個比較容易對比的表格，但不完全一樣，
有幾個是我自己加上去的。

Master Node
- 處理建立/刪除 index 的 request，並實際執行
- 決定每個 shard 要被分配到哪個 data node 上
- 維護 & 更新 cluster state
- 當 master node出問題，master eligible node（從cluster設定多個）會開始選舉，選出下一個 master node
Coordinating Node(協調節點)
- 所有node預設都是 Coordinating Node
- 處理request的node 以及最後進行結果的彙整
- coordinating node 可以直接接收 search request 並處理，不需要透過 master node 轉過來
Data Node
- 可以保存資料的 node，每個 node 啟動後都會預設是 data node，可以透過設定 node.data: false 停用 data node 功能
- 透過增加 data node 可以解決資料水平擴展 & 解決單點故障導致資料遺失的問題
Cluster State（集群狀態)
- 包含所有node資訊
- 包含所有index 及相對應的 mapping/setting配置
- shard的路由資訊
- 每個node上都有Cluster State，只有master 可修改

例如你有一個index （1T) ，要怎麼存到不同的Node，
此時就需要使用(shard)

shard 是 ES分散式儲存的基礎，包含 primary shard 及 replica shard
每一個shard 就是一個 Lucene instance(用於全文檢索和搜尋 e.g. Solr,Elasticsearch...)
Primary Shard(提升系統儲存容量)
- 將一份被索引後的資料，分散到多個data node上存放
- primary shard 的數量在建立 index時就會指定，無法後續修改
Replica Shard（提高資料可用性)
- 當primary shard遺失，Replica shard可以被推成 primary shard
- replica shard數量可動態調整，讓每個data node上都有完整資料
- 可一定程度提高查詢的效能
- ES7.0開始，primary shard 預設為1 ,replica shard預設為0
如不設定replica shard，一旦data node 故障導致 primary shard遺失，資料無法復原
Shard設定
- replica shard設定過多，會降低clsuter整體的寫入效能
- replica shard 必須和 primary shard 被分配在不同的 data node 上；但所有的 primary shard 可以在同一個 data node 上

55.fig-1.jpg

p ：代表 primary shard
r ：代表 replica shard
2. shard的分佈情形，在哪個node上
3. 每個shard包含的document數量 & 空間

如果cluster 只有一個node ，全部會被 primary shard佔據，導致 replica shard 無法被分配，因此cluster健康狀態為 yellow

cache
- 資料寫入後無法變動，避免lock機制所帶來的效能問題
- 因不可變動，若要讓新的document 可被搜尋，需要重建index
- 寫入document前，會先寫到 Index Buffer的儲存空間
- 滿足條件(Index Buffer佔滿) or 特定時間(預設一秒一次)，會將 Buffer 寫入 Segment 。寫入的過程叫Refresh。
transaction log
- 每個shard都有對應的transaction log
- 寫入document的時候，同時也會寫入 transaction log

ref.